What AI Red-Team Evaluations Can and Cannot Prove
AI红队评估能证明什么与不能证明什么
🧭 AI安全评估证据理论
APIsec Research Labs
推导出红队评估的证据上限，揭示当前基准对高频危害足够但对罕见灾难性危害严重不足
📌 工作参考价值（4 点）
- 评估Agent决策链的安全性时：可借鉴其“证据天花板”概念，明确在给定测试用例数量下，能多置信地排除某类安全风险；尤其当Agent执行高风险操作（如资金转账、删除商品），需量化评估对罕见灾难性错误的保障能力。
- 设计红队测试基准：文章指出当前基准对高频危害（如偏见回复）有效，但对罕见灾难性危害（如自动大额折扣误发）需要数个量级更大的测试集。这意味着若想用红队证明Agent在罕见事故上的安全性，必须开发更大规模、更具针对性的测试用例，或采用自适应红队。
- 评估报告的表述：借鉴“clean sheet比单个重现失败更关键”的结论，在安全报告中强调零漏洞结果比个别失败更有证明力，尤其当基准规模超过阈值时。
- 方法论可迁移到推荐系统：如果将“有害输出”替换为“推荐事故”（如推荐违法商品），可通过计算每个类别的最低可检测危害率，决定测试集规模，避免漏检罕见但高风险的问题。